La Celle-sous-Gouzon är en kommun i departementet Creuse i regionen Nouvelle-Aquitaine i de centrala delarna av Frankrike. Kommunen ligger i kantonen Jarnages som tillhör arrondissementet Guéret. År 2021 hade La Celle-sous-Gouzon 155 invånare.